Cầm Bá Thước sinh tại bản Lùm Nưa, tổng Trịnh Vạn, châu Thường Xuân (nay là xã Vạn Xuân, huyện Thường Xuân, tỉnh Thanh Hóa) trong một gia đình lang đạo nhiều đời. Cha ông là Cầm Bá Tiêu từng được triều vua Tự Đức phong chức Quản cơ.

Năm lên 8 tuổi, cha ông mời thầy về nhà dạy chữ Hán cho ông. Nhờ ông học giỏi và có quan hệ tốt với các quan lại người Việt đang trấn nhậm tại quê ông, nên khi trưởng thành ông được thay cha trở thành thổ ty và được triều đình nhà Nguyễn phong chức Bang tá.